Ik probeer RabbitMQ met Celery en Django op een EC2-instantie te krijgen om wat vrij eenvoudige achtergrondverwerking uit te voeren. Ik gebruik rabbitmq-server 2.5.0 op een grote EC2-instantie. Ik heb de testclient gedownload en geïnstalleerd volgens de instructies hier (helemaal onderaan de pagina). Ik heb net het testscript losgelaten en krijg de verwachte uitvoer: recving rate: 2350 msg / s, min / avg / max latentie: 588078478/588352905/588588968 microseconden recuperatiesnelheid: 1844 msg / s, min / avg / max latentie: 588589350/588845737/589195341 microseconden recuperatiesnelheid: 1562 msg / s, min / avg / max latentie: 589182735/589571192/589959071 microseconden recuperatiesnelheid: 2080 msg / s, min / avg / max latentie: 589959557/590284302/590679611 microseconden Het probleem is dat het een ongelooflijke hoeveelheid CPU verbruikt: PID GEBRUIKER PR NI VIRT RES SHR S% CPU% MEM TIJD + OPDRACHT 668 rabbitmq 20 0618m 506m 2340 S 166 6.8 2: 31.53 beam.smp 1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java Ik was eerder aan het testen op een micro-instantie en het verbruikte alle bronnen op de instantie volledig. Is dit te verwachten? Doe ik iets fout? Bedankt. Bewerk: De echte reden voor dit bericht was dat selderijbeat een tijdje goed leek te werken en dan plotseling alle bronnen op het systeem opslokte. Ik heb de managementtools van rabbitmq geïnstalleerd en heb onderzocht hoe de wachtrijen worden gemaakt op basis van selderij en de testsuite van rabbitmq. Het lijkt me dat selderij deze wachtrijen verweesd maakt en dat ze niet weggaan. Hier is de wachtrij zoals gegenereerd door de testsuite. Er wordt één wachtrij gemaakt en alle berichten gaan erin en komen eruit: Celerybeat maakt een nieuwe wachtrij aan voor elke keer dat de taak wordt uitgevoerd: Het stelt de auto-delete-parameter in op true, maar ik weet niet helemaal zeker wanneer deze wachtrijen zullen worden verwijderd. Ze lijken gewoon langzaam hulpbronnen op te bouwen en op te eten. Heeft iemand een idee? Bedankt.
2021-01-29 08:16:36
Oké, ik heb het uitgezocht.
Hier is de relevante documentatie:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Oude resultaten worden niet automatisch opgeschoond, dus u moet ervoor zorgen dat u de resultaten consumeert, anders loopt het aantal wachtrijen uiteindelijk uit de hand. Als u RabbitMQ 2.1.1 of hoger gebruikt, kunt u profiteren van het x-expires-argument voor wachtrijen, waardoor wachtrijen vervallen na een bepaalde tijdslimiet nadat ze niet zijn gebruikt. De wachtrijvervaldatum kan worden ingesteld (in seconden) met de instelling CELERY_AMQP_TASK_RESULT_EXPIRES (niet standaard ingeschakeld).
|
Om toe te voegen aan de oplossing van Eric Conner voor zijn eigen probleem, stelt http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices:
Negeer resultaten die u niet wilt
Als u niet geeft om de resultaten van een taak, zorg er dan voor dat u de optie ignore_result instelt, aangezien het opslaan van resultaten tijd en middelen verspilt.
@ app.task (ignore_result = True)
def mytask (...):
iets()
Resultaten kunnen zelfs algemeen worden uitgeschakeld met de instelling CELERY_IGNORE_RESULT.
Dat, samen met het antwoord van Eric, is waarschijnlijk een absoluut minimum aan best practices voor het beheren van uw resultatenbackend.
Als u geen resultatenbackend nodig heeft, stelt u CELERY_IGNORE_RESULT in of stelt u helemaal geen resultatenbackend in. Als u een resultatenbackend nodig heeft, stelt u CELERY_AMQP_TASK_RESULT_EXPIRES in om te beschermen tegen ongebruikte resultaten. Als je het niet nodig hebt voor een specifieke app, stel dan de lokale negeren in zoals hierboven.
|
Uw antwoord
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("externalEditor", function () {
StackExchange.using ("snippets", function () {
StackExchange.snippets.init ();
});
});
}, "code-snippets");
StackExchange.ready (function () {
var channelOptions = {
tags: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", function () {
// Moet de editor na fragmenten activeren, als fragmenten zijn ingeschakeld
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("snippets", function () {
createEditor ();
});
}
anders {
createEditor ();
}
});
functie createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
heartbeatType: 'antwoord',
autoActivateHeartbeat: false,
convertImagesToLinks: waar,
noModals: waar,
showLowRepImageUploadWarning: true,
ReputationToPostImages: 10,
bindNavPrevention: true,
postfix: "",
imageUploader: {
brandingHtml: "Aangedreven door \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "hoogte = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.7256 4.91628 46.0944 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C32.492 14.045.14.07 37.492 14.045.14.07 37.045 14.6954 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.520455 37.0451 11.5954.545.85.8 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ "d = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.63.501 28.455 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8341.4 ... 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335Z79C24.13 26.6335Z79C24.13 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.862.862.806 13.862.862.862 13.862.862.862 13.862.862.862 13.862.862.862.137.862.862.862.862.862.862.862.862.860 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62866 8.57809 4.89931 4.62866 8.57809 4.899316.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5.893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.58817 15.416.4011 ... 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400291 \ u003 c / a \ u003e ",
contentPolicyHtml: "Gebruikersbijdragen gelicentieerd onder \ u003ca href =" https: //stackoverflow.com/help/licensing "\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =" https://stackoverflow.com / legal / inhoudsbeleid \ "\ u003e (inhoudsbeleid) \ u003c / a \ u003e",
allowUrls: waar
},
onDemand: waar,
discardSelector: ".discard-answer"
, onmiddellijkShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Bedankt voor het bijdragen aan een antwoord op Stack Overflow!
Zorg ervoor dat u de vraag beantwoordt. Geef details en deel uw onderzoek!
Maar vermijd ...
Om hulp, opheldering vragen of op andere antwoorden reageren.
Uitspraken doen op basis van meningen; Maak er een back-up van met referenties of persoonlijke ervaring.
Bekijk onze tips voor het schrijven van goede antwoorden voor meer informatie.
Concept opgeslagen
Concept verwijderd
Meld u aan of log in
StackExchange.ready (function () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Meld u aan met Google
Meld u aan met Facebook
Meld u aan met e-mail en wachtwoord
Verzenden
Post als gast
Naam
E-mail
Vereist, maar nooit getoond
StackExchange.ready (
functie () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-consuming-tons-of-cpu% 23new-answer', ' vraag_pagina ');
}
);
Post als gast
Naam
E-mail
Vereist, maar nooit getoond
Plaats uw antwoord
Gooi weg
Door op "Plaats uw antwoord" te klikken, gaat u akkoord met onze servicevoorwaarden, privacybeleid en cookiebeleid
Niet het antwoord waar je naar zoekt? Blader door andere vragen met de tag django rabbitmq selderij of stel je eigen vraag.